Tương truyền, khi còn tại chức, Hoàng Hối Khanh là một vị quan thanh liêm và hết mực lo cho dân nên sau khi ông mất, người đời vẫn luôn luôn tưởng nhớ. Đến đời vua Thiệu Trị thứ VI(1845), lăng mộ và miếu thờ của ông đã được xây dựng và từ đó về sau đã được nhân dân góp công góp sức trùng tu lại nhiều lần.Lăng mộ ông nằm trên một khu đất gần núi An Mã, thuộc thôn Đại Giang, xã Trường Thủy, huyện Lệ Thủy. Miếu thờ tọa lạc trên một khu đất tại thôn Hà Thanh, xã Phong Thủy, huyện Lệ Thủy.